When to Follow the Teacher: Advantage-Based On-Policy Distillation
何时跟随教师：基于优势的在线策略蒸馏
🧭 LLM 在线蒸馏 · 优势加权
University of Pennsylvania · University of Southern California
AOPD 用学生优势加权教师动作，仅靠标准 rollout 和终局奖励即可无偏估计，提升在线蒸馏效率与效果
📌 工作参考价值（4 点）
- 在生成式推荐/搜索场景做 teacher-student 蒸馏时，不要在所有状态都强行跟随教师；可以用 advantage-weighted 监督，只强化对当前 student 有益的教师动作，减少有害模仿。
- 工程实现上，AOPD 只需要保存 student rollout 的 logprob 和 terminal reward，再用 teacher/student 概率比做 importance weighting 即可，无需额外 rollout 或 reward model，轻量且易接入现有 on-policy 训练流程。
- 若业务中已有用户点击/转化/成交等终局奖励，可把蒸馏目标从 token-level SFT 换成 AOPD 形式，使教师监督与业务回报对齐，尤其适用于 query 推荐、push 文案、商品描述生成等 LLM 应用。
- 自蒸馏设置下也能用同一套优势加权逻辑，从历史高质量策略或大模型生成样本中蒸馏，同时避免拖累当前学生已擅长的状态。